Yang sinh ngày 13 tháng 1 năm 1975 tại Schenectady, New York.[1], bang New York. Cha mẹ anh là người nhập cư từ Đài Loan.[2] Họ gặp nhau khi cả hai đang học cao học tại Đại học California, Berkeley.[3] Cha anh tốt nghiệp tiến sĩ. trong ngành vật lý và làm việc trong các phòng thí nghiệm nghiên cứu của IBM và General Electric, tạo ra hơn 69 bằng sáng chế trong sự nghiệp của ông.[3] Mẹ anh tốt nghiệp thạc sĩ thống kê[4] và trở thành quản trị viên hệ thống tại một trường đại học địa phương.[5][6] Yang có một anh trai, Lawrence, là giáo sư tâm lý học.[6][7]

Yang mô tả việc bị bắt nạt và được các bạn cùng lớp gọi là những lời chỉ trích chủng tộc khi học trường công. "Có lẽ kết quả là, tôi luôn tự hào liên quan đến kẻ dưới quyền hoặc anh chàng hoặc cô nàng nhỏ bé", anh viết.[8] Yang sau đó theo học Phillips Exeter Academy, một trường nội trú ưu tú ở New Hampshire.[9] Anh tốt nghiệp Exeter năm 1992 và tiếp tục tham gia Đại học Brown,[10] nơi anh tập trung vào kinh tế và khoa học chính trị và tốt nghiệp năm 1996.[11] Yang sau đó theo học Trường luật Columbia, kiếm được Juris Doctor vào năm 1999.[1]